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В данной работе описываются функциональные требования и структура программного комплекса 
управления оборудованием контроля критических размеров на базе систем машинного зрения. Методы 
искусственного интеллекта, реализованные в данном комплексе, включают искусственные нейронные сети 
типа Мебмогк-т-Мебмо и технологию глубинного обучения. Описаны преимущества архитектуры сети 
МегхотК-ш-Мебмогк, а также ее использование для решения задач анализа изображений интегральных 
микросхем. Применение архитектуры нейронных сетей МебмотК-ш-Мебмогк позволяет эффективно 
идентифицировать дефекты, что особенно важно для разработки программного обеспечения установок 
контроля изготовления сверхбольших интегральных схем (СБИС) по субмикронным технологиям. 
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Введение 

Актуальной задачей при разработке 
и выпуске конкурентоспособных наукоем- 
ких изделий микроэлектроники является 
создание современной научно-технической 
и производственно-технологической базы 
производства: интегральных микросхем 
(ИС) и полупроводниковых приборов (ПП), 
спроектированных по субмикронным нор- 
мам, а также оптико-механического, конт- 
рольно-измерительного и сборочного обо- 
рудования. 

Обновление технологического потен- 
циала электронного машиностроения яв- 


ляется основой для повышения конкурен- 
тоспособности других отраслей народного 
хозяйства. Современные средства разра- 
ботки электронных схем направлены на 
сокращение времени освоения и запуска в 
производство новых изделий, а также на 
понижение стоимости цифровой аппара- 
туры при ее массовом производстве. 
Такую возможность и обеспечивает наз- 
ванная выше технологическая база, в том 
числе системы машинного (технического) 
зрения, которые являются составной час- 
тью современной технологии проектиро- 
вания и производства ИС. 
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В связи с переходом на субмикрон- 
ные нормы проектирования и усложне- 
нием самих ИС возникает необходимость 
решения задач обработки, хранения, при- 
ема и передачи больших объемов дан- 
ных с использованием современных ин- 
терфейсов, для чего требуется разработка 
оригинальных подходов, методов и алго- 
ритмов цифровой обработки изображе- 
ний и приборов контроля технологичес- 
ких процессов литографии, компьютер- 
ных методов и алгоритмов анализа полу- 
чаемых данных, которые в совокупности 
позволят обеспечить качественную отра- 
ботку процессов фотолитографии при 
изготовлении СБИС по субмикронным 
нормам. 

Функции и архитектура ПК УОККР 

ПК УОККР обеспечивает возмож- 
ность выполнения следующих функций: 

- предобработки изображений с учетом 
конструкторско-технологических 
ограничений; 

- обработки и анализа изображений с 
поддержкой оборудования видеозах- 
вата сторонних производителей; 

- анализа изображений для контроля 
конструкторско-технологических 
ограничений; 

- хранения и доступа к данным с воз- 
можностью импорта и экспорта дан- 
ных в различных форматах: для этого 
используется СУБД Му5ОГ; 

- синтезатора программы для автомати- 
ческого режима работы; 

- управления механизмами сторонних 
производителей; 

- визуализации данных. 

Главными зарубежными аналогами 
предлагаемого ПК УОККР являются про- 
граммные комплексы О!утриз М1сгоЗине 
НУЕ компании О]утриз Согроганоп (Ларап) 
и №5-Нетеп М!сгозсоре Ппаоте ЗоЙ\аге 
компании МКоп ш5литет $ Шшс. (ОЗА). 

В разрабатываемом ПК УОККР реа- 
лизуются основные функции названных 
выше двух программных комплексов 
ведущих фирм-производителей аналогов, 
а также ряд дополнительных функций: 
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- поиск фрагментов по образцу; 

- откат действий, создание резервных 
копий и сеансовых контрольных точек. 

Основную функциональность опи- 
шем диаграммой прецедентов или вари- 
антов использования. Прецеденты можно 
условно разделить на основные и вспомо- 
гательные. 

Основными прецедентами исполь- 
зования ПК УОККР являются: 

- загрузка объекта исследования (полу- 
проводниковой пластины или фото- 
шаблона) — подготовка объекта иссле- 
дования для дальнейшей работы (пред- 
варительная ориентация в пространст- 
ве, перемещение в рабочую зону); 

- выгрузка объекта исследования — 
удаление объекта исследования из 
рабочей зоны в хранилище (контейнер, 
кассету); 

- инициализация установки и базирова- 
ние механизмов — загрузка в установку 
данных, описывающих исходное сос- 
тояние оборудования для решения 
конкретной задачи, и установка меха- 
низмов в соответствующее состо- 
яние/положение; 

- управление перемещениями коорди- 
натного стола — формирование обоб- 
щенных команд для управления дви- 
жением координатного стола; 

- совмещение и ориентация — привязка 
системы отсчета и координатной 
системы объекта к координатной 
системе установки; 

- контроль и измерение размеров — 
запуск алгоритмов контроля и измере- 
ния размеров; 

- автоматическое измерение — запуск 
алгоритмов автоматического измере- 
ния размеров; 

- определение размеров элементов — 
запуск алгоритмов определения раз- 
меров изображения; 

- управление механизмами — подготовка 
команд управления оборудованием 
(метакоманд) и соответствующих 
параметров; 
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формирование управляющих команд — 
преобразование в формат метакоманд, 
требуемых тем либо иным микроконт- 
роллером управления оборудованием; 
создание программы контроля и изме- 
рений для автоматического режима — 
формирование списка управляющих 
воздействий с соответствующими па- 
раметрами и их сохранение в виде 
файла либо записи в базе данных; 
создание карты-структуры объекта 
(объектом может служить как пласти- 
на, так и шаблон) — подготовка описа- 
ния структуры объекта для дальнейше- 
го его исследования (кадры, модули); 
сохранение результатов контроля и 
измерений — компоновка результатов 


работы ПК в структуру, предназна- 
ченную для дальнейшего хранения в 
базе данных и последующее сохра- 
нение полученного блока данных с 
использованием СУБД. 
Вспомогательные прецеденты (иден- 


тификация пользователя) требуются для 
разграничения доступа к функциональ- 
ности ПК. 


Для эффективной реализации приве- 


денных выше функций была разработана 
следующая архитектура комплекса (рис.1). 


ние 
ии 


ПК УОККР совместим с оборудова- 
м, выпускаемым ОАО «КБТЭМ-ОМО» 
нтегрируется в единый технологичес- 


кий цикл. 
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Исходные данные 

Изображения топологий интеграль- 
ных микросхем, полученные при увели- 
чении, отличаются большим разрешени- 
ем, а также наличием множества мелких 
элементов, затрудняющих процесс анали- 
за и контроля дефектов. Поэтому, для об- 
работки таких изображений используют- 
ся различные методы интеллектуального 
анализа данных, в том числе машинного 
обучения. 

Описание нейронной сети, исполь- 
зуемой в ПК УОККР 

Технологии глубинного обучения 
(4еер Теагит®) эффективно применяются 
для задач распознавания изображений, 
когда необходимо учитывать искажения и 
помехи исходных изображений. Далее 
рассмотрены основные принципы, лежа- 
щие в основе архитектуры «сеть-внутри- 
сети» (Мебмок-ш-Мебмог), которая явля- 
ется развитием идеи сверточной нейрон- 
ной сети и позволяет ускорить процесс 
обучения и уменьшить число ее парамет- 
ров. В архитектуре обычной сверточной 
нейронной сети (СММ) слои свертки чере- 
дуются со слоями пулинга, что позволяет 
эффективно уменьшить пространство 
признаков. Первые слои пытаются из- 
влечь из изображения примитивные приз- 
наки, такие как линии, углы и кривые, в то 
время как глубокие слои распознают все 
более сложные структуры. В итоге про- 
странство признаков сжимается, в качест- 
ве последних слоев сети используются 
полносвязные, с помощью которых фор- 
мируется итоговое разделение вероят- 
ностей принадлежности изображения к 
определенному классу [1]. 

Функция выхода слоя свертки 
выглядит следующим образом: 


Д.рк = тах (ор о) 5 


где ® - вектор параметров, х — вектор 
сигналов предыдущего слоя, 1 ] -— 
индексы сигнала, К— индекс канала. В 
основе архитектуры ММ лежат две 
ключевые особенности: 
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1. Вместо выполнения линейной сверт- 
ки, сигналы с выхода предыдущего 
слоя подаются на вход многослойного 
персептрона (Ми! Глпеаг Регсериоп), 
который сам по себе является нейрон- 
ной сетью. Это помогает извлекать 
более абстрактные признаки, поль- 
зуясь данными со всех каналов пре- 
дыдущего слоя. Другими словами, 
вместо ядра фильтра свертки, которое 
мы перемещаем, перемещается по 
пикселям исходного изображения 
многослойный персептрон — микро- 
нейронная сеть, спрятанная внутри 
слоя (отсюда название архитектуры) 
(рис. 2) [2]. Персептрон быстрее 
обучается, что уменьшает время 
обучения. Функции выходов много- 
слойного персептрона выглядят сле- 
дующим образом: 

Пк = тах («мы + Ви. 0) 


ХТ 
п т п 
Дерк = тах (т, жу + Ви, ,0). 


где ® — вектор параметров, х — вектор 
сигналов предыдущего слоя, 1, | — 
индексы сигнала, К — индекс канала, В 
— смещение, и — номер слоя. 

р Последний слой имеет на выходе 
столько каналов, сколько классов объ- 
ектов необходимо распознавать. Затем 
сигналы проходят через слой пулинга, 
который усредняет значения всех ка- 
налов, и в итоге попадают на входы 
зоЙтах слоя, который выдает итого- 
вый результат работы сети. Согласно 
различным оценкам, в полно-связных 
слоях сверточных нейронных сетей со- 
держится до 90 % параметров. Отсутст- 
вие полносвязных слоев позволяет 
избавиться от такого недостатка [3]. 

Данные изменения позволяют зна- 
чительно уменьшить количество пара- 
метров сети, тем самым понизив склон- 
ность к переобучению. Кроме этого, та- 
кая архитектура становится более устой- 
чивой к различным трансформациям, по- 
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воротам и сдвигам исходных изображе- 
ний. Для обучения сети используется ме- 
тод обратного распространения ошибки 
(БасК-ргораганоп), он подходит как для 
обучения сверточных сетей, так и много- 
слойных персептронов. 


©-0оО 


Рис. 2. Архитектура нейронной сети МебмотК- 
ш-Месмогк 


Тестирование применения НС в 
ПК УОККР 

Для поиска элементов на изображе- 
нии используется метод скользящего ок- 
на. При его использовании задается кон- 
фигурация «окна обработки» — двумерной 
области, охватывающей конечное мно- 
жество отсчетов входного изображения. В 
процессе обработки данное окно смеща- 
ется по изображению, последовательно 
занимая все возможные положения. 

Для каждого положения окна мож- 
но применить классификационную ней- 
ронную сеть, которая обучена на тех 
классах, объекты которых нужно детек- 
тировать, и, таким образом, если класси- 
фикационная сеть говорит, что в данном 
окне объект есть, то он помечается соот- 
ветствующим классом. 

Недостатком данного подхода явля- 
ется то, что для прохождения окна по 
всему изображению и параллельного 
применения нейронной сети для каждого 
положения окна требуется дополнитель- 
ное время. 

Для тестирования модели использу- 
ются полутоновые изображения инте- 
гральных схем ИС (рис. 3). В качестве 
обучающих изображений были использо- 
ваны фрагменты изображений с отдель- 
ными элементами интегральных схем, ко- 
торые равномерно распределены (рис. 4). 
При этом, объем обучающей выборки 
(машше зе) составил 4200 элементов, 


тренировочной (уаПЧаноп зе) и тестовой 
выборки ({е$1 5е{) — по 900 изображений. 
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Рис. 4. Примеры изображений ИС 
для обучения 

Выводы 

Особенностями задачи анализа то- 
пологий микросхем является большой 
масштаб исходных изображений с мно- 
жеством мелких деталей. Это значит, что 
большое значение имеет возможность 
системы работать с большими объемами 
входных данных. При применении ней- 
ронных сетей необходимо стремиться к 
уменьшению параметров сети, для того 
чтобы избежать переобучения и увели- 
чить скорость обучения модели. Как по- 
казано в источнике [4], нейронные сети с 
архитектурой МПМ показывают лучшие 
результаты точности при меньшем числе 
параметров. 

Это является важным фактором, так 
как система будет затрачивать меньшее 
время на обучение, а значит, более эф- 
фективно использовать ограниченные ма- 
шинные ресурсы. При этом описанная ар- 
хитектура обладает основными преиму- 
ществами сверточных нейронных сетей — 
хорошо масштабируется, весьма эффек- 
тивна для задач распознавания изображе- 
ний, а также подходит для распаралле- 
ливания вычислений, но при этом обла- 
дает большей устойчивостью к искажени- 
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ям исходного изображения, что особенно 
важно для систем технического зрения, 
применяемых в установках выпускаемых 
на предприятии ОАО «КБТЭМ-ОМО» 
[5], в частности в ПК УОККР предложен- 
ная архитектура нейронной сети №М 
реализована с использованием библиотеки 
ТепзогНо\м [6-7]. 

Существенным преимуществом обо- 
рудования управляемого ПК УОККР и 
разрабатываемого ОАО «КБТЭМ-ОМО» 
для производства СБИС перед зарубежны- 
ми аналогами является то, что оно проек- 
тируется на единой конструкторско- 
технологической базе, реализуя полную 
аппаратную, программную и метрологи- 
ческую совместимость всего комплекта 
установок, работающих в едином техноло- 
гическом цикле для воплощения в крем- 
нии критических технологий микроэлект- 
ронной промышленности. 
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ВЕЗОМЕ 


$. Ауакау, А. Уогапац, У. Сапспепко, 
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Ме®о4$ о! агийаа! пиеШоепсе т 
зоЁбууаге сопего| зузет Гог едиртепЕ оЁ 
стса! $17е$ шзресйоп оп Фе Ба$15 о 
сотшршег у1510п 
ш 115 рарег Фе Галпсйопа| гедшхе- 
теп ап Фе зиис@аге оЁ зой\аге сопйго] 
зузет Гог еаилртепе оЁ спаса| $17е5$ а5рес- 
поп оп Фе Баз15 оЁ сотршег у1$1юп аге 
езспе4. ТВе агайсла! пиеШеепсе тефо4$ 
шсмаше Мебхок-ш-Мебмо (уре пеига| 
пебмогКк$ ап 4еер 1еапп> \уеге аррПеа Гог 
зоушя рго еп оЁ апа]у71те ппазез. Тбе 
ауап(асез оЁ Ше агсИцесвиге оЁ Мебмогк-т- 
МебмогК аге сопз14егед. ТВе Йгз( 1ауегз оЁ 
Фе №М№ цу г ехбас( рипийуе Геагез гот 
Фе ппасе, засВ аз Ппез, ап<]ез, ап4 сигуез, 
\УВПе Ше 4еерег Тауег$ гесогп12е тоге апа 
тоге сотр]ех 5гасагез. Аз а гези, Фе Геа- 
саге зрасе 1$ сотргеззе4. АЕ Ше 1а$( Тауегз оЁ 
Фе песмогк, ГоПу соппесе4 1ауегз аге изе4. 
АррПсаНноп оЁ Мебмогк-ш-МебмогК ‘(еспо- 
1огу аПо\з 14епаРуше еНесиуе!у деЁес5 
Фа( 15 езреслаПу ппропапЕ Гог зоЙ\аге еп21- 
пеелп» г едиртепЕ оЁ спйса! $17е5 
п5ресйоп оЁ УГ$Т тапиЁасвание Базед оп 
зириисгоп {есБпо]о5у. 
Тре деуеюореЯ зоЙ\’аге ргоу14ез Ше 
ГоПо\лше Ёшсйопз: 
-  Птасе ргергосезуте {акте шо ассоцпе 
ез1еп ап {есбпо]оз1са| гезилсйоп$; 
- Ппасе ргосеззше ап апа]уз1$ ИВ 
зиррог оЁ Чегет у14ео еди!ртепс; 
- Ппасе апа[у$1$ Юг Ше шзресйоп$ оЁ 
тапаасание орегайоп$; 
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- Зогаге ап@ ассез$ 10 ама зи Фе 
ау № ппроц ап ехрог Ааа т 
уаной$ Рогта(з; 

- 511е515 оЁ Ше ргостат Гог ашютайс 
ореганоп тоае; 

- _ сопиго| оЁ Чегет тесрВап1$11$; 

- аа у1зча|таноп. 

Тре агсЬцесвиге оЁ Фе зой\аге зуз- 

(ет \а$ деуе]ореа, ргоу1Атз Фе розу 

ог Пех1Ые а4изилепе оЁ Фе сепега| а!2о- 

ит оЁ птазе ргосеззште ап апа[уз15. ТВе 
изег сап ш4ерепдепИу сотрозе сВашз оЁ 
зиире а!огии$ №ю оМаш тоге сотр!ех 
опез. Ё 1$ а15о розз1Ые 1ю соппесЕ ежегпа1 
гоцйпез. ТБе ореганоп рагатаегз ап4 ашо- 


тайс ргосезте ргозгапл$ аге $оге4 ш фе 
Ча(аБазе. 

'ТБе зой\аге 1$ изе4 ш фе ргодисйоп 
оЁ сотренвуе ргес1з1оп едитртепЕ Рог УГ$1 
тапаРасбиипе \уВае деегитез 145 ргасйса! 
ппроКапсе: Гог ааютайс рБоютейшу \ив 
ргесллюп 1]азег Ююсизше зузбет; Юг ашю- 
тае4 пл1сго$12е шзресйоп зузет; Гог тазК 
ращег соог4тае$ теазигетепе зузет, 
еаилритепе ог тазК рацеги сепегайоп апа 
шзресйоп. 
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